Elgort sinh ra tại Manhattan.[6] Cha anh là Arthur Elgort, một nhiếp ảnh gia thời trang làm việc cho tạp chí Vogue trong hơn ba mươi năm, còn mẹ anh là Grethe Barrett Holby, một đạo diễn opera.[7][8] Cha anh là người gốc Do Thái Nga, trong khi đó mẹ anh là một người gốc Anh, Đức và Na Uy.[9] Bà ngoại của Elgort, Aase-Grethe, vốn nằm trong đội du kích Na Uy trong suốt Chiến tranh thế giới thứ hai, giải cứu những trẻ em Do Thái Na Uy bằng cách đưa chúng tới Thụy Điển; chính bởi vì những hoạt động này, bà đã bị bắt giam trong một trại tập trung.[8][10]

Elgort có hai người anh chị ruột, Warren, một nhà biên tập phim, và Sophie, một nhiếp ảnh gia.[11] Năm chín tuổi, mẹ Elgort mang anh tới học thử tại trường múa Ba Lê School of American Ballet.[12] Anh sau đó nhập học trường The Professional Performing Arts School, Fiorello H. LaGuardia High School và trại hè Stagedoor Manor.[6] Elgort bắt đầu tham gia lớp học diễn xuất ở độ tuổi mười hai và tham gia vào các vở kịch Guys and Dolls và Hairspray ở trường trung học của anh.[12]